 1.电商离线数仓设计之需求分析
   
   近年来，中国的电子商务快速发展，交易额连创新高，电子商务在各领域的应用不断
拓展和深化、相关服务业蓬勃发展、支撑体系不断健全完善、创新的动力和能力 不断
增强。电子商务正在与实体经济深度融合，进入规模性发展阶段，对经济社会生活的影
响不断增大，正成为我国经济发展的新引擎。
   
   中国电子商务研究中心数据显示，截止到2012年底，中国电子商务市场交易规模达
7.85 万亿人民币,同比增长 30.83%。其中，B2B 电子商务交易额达6.25 万亿，同比
增长 27%。而2011年全年,中国电子商务市场交易额达6万亿人民币，同比增长33%，
占GDP比重上升到13%；2012 年，电子商务占 GDP 的比重已经高达15%。
   1).电商行业技术特点
      技术新
      技术范围广
      分布式
      高并发、集群、负载均衡
      海量数据
      业务复杂
      系统安全
   2).电商业务简介
   类似X东商城、X猫商城。电商网站采用商家入驻的模式，商家入驻平台提交申请，有平
台进行资质审核，审核通过后，商家拥有独立的管理后台录入商品信息。商品经过平台审核
后即可发布。网上商城主要分为：
     (1).网站前台。网站首页、商家首页、商品详细页、搜索页、会员中心、订单与支付
相关页面、秒杀频道等；
     (2).运营商后台。运营人员的管理平台， 主要功能包括：商家审核、品牌管理、规
格管理、模板管理、商品分类管理、商品审核、广告类型管理、广告管理、订单查询、商家
结算等；
     (3).商家管理后台。入驻的商家进行管理的平台，主要功能包括：商品管理、订单查
询统计、资金结算等功能；
   3).数据仓库项目主要分析以下数据：
     (1).日志数据：启动日志、点击日志(广告点击日志)
	 (2).业务数据库的交易数据：用户下单、提交订单、支付、退款等核心交易数据的分
析 
   4).数据仓库项目分析任务：
     (1).会员活跃度分析主题
         每日新增会员数；每日、周、月活跃会员数；留存会员数、留存会员率
	 (2).广告业务分析主题
         广告点击次数、广告点击购买率、广告曝光次数
	 (3).核心交易分析主题
         订单数、成交商品数、支付金额
 
 2.电商离线数仓设计之数据埋点
   
   数据埋点，将用户的浏览、点击事件采集上报的一套数据采集的方法。
   通过这套方法，能够记录到用户在App、网页的一些行为，用来跟踪应用使用的状况，
后续用来进一步优化产品或是提供运营的数据支撑，包括访问数、访客数、停留时长、
浏览数、跳出率。这样的信息收集可以大致分为两种：页面统计、统计操作行为。
   
   在企业经营中，数据分析辅助决策是非常重要的一环，而埋点采集用户行为数据的工
作则是基础中的基础。如果没有用户行为数据，经营分析将无从说起。埋点为数据分析
提供基础数据，埋点工作流程可分为：
     1).根据埋点需求完成开发（前端开发工程师 js）
     2).App或网页采用用户数据
     3).数据上报服务器
     4).数据的清洗、加工、存储(大数据工程师)
     5).进行数据分析等到相应的指标(大数据工程师)
   在以上过程中，涉及的相关人员可分以下几类：
     1).埋点需求：数据产品经理，负责撰写需求文档，规定哪些区域、用户操作需要埋
点   
     2).埋点采集：前端工程师，负责通过一套前端 js 代码对用户的请求事件上送至服
务器 
     3).数据清洗、加工及存储：对埋点中数据缺失、误报等情况需要进行清洗，并通过
一定的计算加工，输出业务分析所需要的结构化数据，最后将数据存储在数据仓库中
     4).数据分析：在数据仓库中对数据进行整理，成业务关注的指标
     5).前端展示：Java 开发
   
   主流的埋点实现方法如下，主要区别是前端开发的工作量：
     1).手动埋点：开发需要手动写代码实现埋点，比如页面ID、区域ID、按钮ID、按钮
位置、事件类型（曝光、浏览、点击）等，一般需要公司自主研发的一套埋点框架
        优点：埋点数据更加精准
        缺点：工作量大，容易出错
	 2).无痕埋点：不用开发写代码实现的，自动将设备号、浏览器型号、设备类型等数
据采集。主要使用第三方统计工具，如友盟、百度移动、魔方等
        优点：简单便捷
        缺点：埋点数据统一，不够个性化和精准
   启动日志
{
  "app_active": {
       "name": "app_active",
       "json": {
           "entry": "3",
           "action": "0",
           "error_code": "0"
       },
       "time": 1593553936325
   },
   "attr": {
       "area": "葫芦岛",
       "uid": "2F10092A192",
       "app_v": "1.1.12",
       "event_type": "common",
       "device_id": "1FB872-9A100192",
       "os_type": "0.7.0",
       "channel": "MA",
       "language": "chinese",
       "brand": "Huawei-4"
   }
}
   
   事件日志(广告点击、收藏、点赞、消息通知、商品评论、商品详情页加载等事件)：
{
   "lagou_event": [{
       "name": "goods_detail_loading",
       "json": {
           "entry": "2",
           "goodsid": "0",
           "loading_time": "71",
           "action": "3",
           "staytime": "119",
           "showtype": "5"
       },
       "time": 1594804466872
    }, {
       "name": "notification",
       "json": {
           "action": "3",
           "type": "4"
       },
       "time": 1594775458428
   }, {
       "name": "ad",
       "json": {
           "duration": "19",
           "ad_action": "0",
           "shop_id": "46",
           "event_type": "ad",
           "ad_type": "2",
           "show_style": "1",
           "product_id": "9022",
           "place": "placeindex_right",
           "sort": "4"
      },
      "time": 1594779518872
  }, {
      "name": "favorites",
      "json": {
          "course_id": 2,
          "id": 0,
          "userid": 0
     },
     "time": 1594812897271
  }],
  "attr": {
      "area": "清远",
      "uid": "2F10092A77",
      "app_v": "1.1.7",
      "event_type": "common",
      "device_id": "1FB872-9A10077",
      "os_type": "0.8.4",
      "channel": "PQ",
      "language": "chinese",
      "brand": "iphone-2"
  }
}
